目标：找一个超平面把（有标签）样本分开

支持向量机

划分样本空间的超平面线性方程描述

样本点到超平面的距离

超平面参数的放缩

为了更好的数学性质

等同最小化

目标：

约束于：

支持向量 使左侧公式等号成立的样本属性向量

间隔

然后问题直接变成：然后直接SMO求解就行

万一搞一半发现样本集在原本空间不是线性可分咋办？

简单，转换到更高维的空间!

但是这玩意涉及到向量内积啊兄弟，维数太高（到了无穷），那计算量岂不吓死人？

直接使用核函数简化计算！

每一个 代表着一个特征空间！只要他是

如果原始空间是有限维，那么一定存在一个高维特征空间使样本线性可分！

目标：在满足约束条件下，最小化

损失函数

软间隔：我顶多就忍这么多

这玩意要求这么严格，会不会过拟合？就算把核函数找出来了，会不会过拟合？

约束转换

转换后要解决的问题

正则化

软间隔KKT条件

怎么解？

额，这玩意怎么解呢？（解和）

违背KKT最大的点

启发式：离左边这个点最远的点

SMO算法

SMO如何选择一次更新的两个变量？

解出a后怎么解w和b？

原问题同等表达：

因为这拉格朗日乘子还是什么鬼东西之类的，反正是个对偶问题就对了！直接转化成对偶问题！

所以怎么解呢？

对偶问题的上界刚好<=原问题的下界(我们的目标！！！)弱对偶，强对偶

令对偏导为0得（求最小值）

解得a，即解得超平面

对偶问题表达：

那不就是： 吗？

得到模型：

因为不等式约束，所以上述过程必须满足KKT条件：

最后一个约束代表不接受任何损失，也就是忍不了一点的意思

则必有或者 ! ->解的稀疏性：训练后的模型仅仅与支持向量有关！

拉格朗日乘子法得：(从有约束问题转换为无约束问题)

把上面式子带回，得